Ngô Vũ Sâm sinh ngày 1 tháng 5 năm 1946 tại Quảng Châu, Quảng Đông, Trung Quốc. Năm Ngô lên 5 tuổi, cả gia đình chuyển sang Hồng Kông và phải sống ở khu ổ chuột Thạch Giáp Vĩ (石硤尾) trong hoàn cảnh cha của Ngô không thể làm việc nuôi gia đình vì mắc bệnh lao[3][4]. Năm 1953, gia đình Ngô Vũ Sâm càng trở nên khó khăn khi lâm vào cảnh vô gia cư sau trận hỏa hoạn khủng khiếp gần như thiêu rụi khu Thạch Giáp Vĩ[4]. Sau khi được các tổ chức từ thiện hỗ trợ, Ngô Vũ Sâm và cha mẹ cuối cùng cũng có một căn nhà mới, nhưng lại vướng vào làn sóng bạo lực và tội phạm lan tràn thời gian đó.

Sinh ra trong một gia đình Công giáo, Ngô theo học tại Trường Concordia Lutheran dành cho những người theo đạo. Để thoát khỏi tình trạng hỗn loạn ở khu vực mình sống, Ngô thường dùng thời gian rảnh rỗi để xem phim, ông đặc biệt yêu thích các bộ phim của các đạo diễn người Pháp thuộc trào lưu "Làn sóng mới" (Nouvelle Vague) như Jean-Pierre Melville[5]. Ngô nói rằng ông hay xấu hổ và gặp khó khăn trong việc giao tiếp với mọi người, vì vậy ông yêu thích điện ảnh và sử dụng nó như một cách biểu lộ tình cảm và suy nghĩ, hay nói cách khác là dùng điện ảnh như một thứ ngôn ngữ của chính đạo diễn[5]. Ba bộ phim mà Ngô yêu thích khi còn nhỏ là Lawrence of Arabia, Seven Samurai và Le Samouraï.[5]